Which Eviction Policy Should an LLM Cache Use? A Systematic Study Across Workloads, Capacities, and Encoders
LLM 缓存淘汰策略选择：跨工作负载、容量与编码器的系统研究
🧭 LLM 语义缓存淘汰策略评估
University of Michigan
系统比较多种语义缓存淘汰策略，发现 LFU 为最强简单默认，且需先验证答案有效性
📌 工作参考价值（4 点）
- 在业务中部署 LLM 语义缓存时，淘汰策略无需复杂化：LFU 在 18 种设置下几乎总是最优或接近最优，实现简单且省资源；避免引入几何感知复杂策略，因为精确查找下新插入条目在命中半径内无邻居，难以获得额外信号。
- 缓存命中质量是更大的风险：在典型阈值下，原始命中率 51–60% 中只有 2.1–3.9% 的命中答案可替代，质量调整后命中率仅 1.1–2.2%。上线前必须用 LLM-as-judge 或人工审计验证缓存命中的可替代性，不能只看 embedding 距离。
- 阈值需按编码器单独标定：跨编码器研究显示阈值不可迁移；更换 embedding 模型后必须重新设定距离阈值，否则可能缓存大量无效响应。
- 对于小容量缓存，使用精确搜索（如暴力扫描）而非 ANN，以保留准确的邻居结构用于淘汰决策；同时关注 LFU 与 FIFO 在紧容量下的差异可达 8 个百分点，容量越紧越应该选简单有效的 LFU。